跳到主要内容

ControlNet 工具

ControlNet 是什么?

女模特总是不配合?用它!游戏原画没灵感?也用它!建筑绘画各行各业设计都用它!它就是 ControlNet !只需简单调整参数就能产出无限创作灵感,提高我们的创作效率!

这款 SD 插件已成为了AI 绘画领域最新的热点。而它的出现代表着 AI 生成开始进入真正可控的时期,而 AIGC 的可控性是它进入实际生产最关键的一环。在此之前,大家用了很多方法想让 AI 生成的结果尽可能符合要求,但都不尽如人意,ControlNet 比之前 img2img 要更加精准和有效,可以直接提取画面的构图,人物的姿势和画面的深度信息等等。

有了它的帮助,就不用频繁用提示词来碰运气抽卡式创作了。今天我们就详细探讨下 ControlNet 的各项参数,带着大家进入绘画创作的新大门!

ControlNet 安装

目前 ControlNet 插件已集成在 Stable Diffusion WebUI 的扩展内,可以一键自动下载安装。

根据图片红框顺序点击安装即可

Stable Diffusion WebUI -> 扩展 -> 可用 -> 加载 -> sd-webui-controlnet -> install。

然而,仅仅这样是不够的,ControlNet需要使用多个定制模型来处理输入的图像和参数。这些额外的模型大小各不相同,最小的为80MB,最大的为1.5GB,总共约有十几个。如果全部下载,将占据 10GB 以上的硬盘空间。

可以根据自己的需求选择下载,但是如果不下载,就无法使用 ControlNet 的功能。所以,如果你的硬盘空间不够,就需要考虑清楚了。

git lfs install
git clone git@hf.co:lllyasviel/ControlNet-v1-1

下载完成后,把这些模型丢到下面的目录下面

/extensions/sd-webui-controlnet/models/

往下拉就能看到配置了

如何使用

进入 txt2img,找到 ControlNet 所在位置,上传图

然后勾选 Enable,并选择所需的 Model 和 Preprocessor

点击上面的生成按钮,就可以生成图片了

canny 边缘检测

提取线稿,通过从原始图片中提取线稿,来生成同样构图的画面。这个案例是输入鸟的图片和提示词。

通过给线稿上色来制作的小动画,稳定性很好。

depth 深度检测

提取深度图,通过提取原始图片中的深度信息,可以生成具有同样深度结构的图。

用 Blender 创建空间 → 创建深度图 → 用 ControlNet Depth 创建插图 → 粘贴为 Blender 空间中的纹理,就可以创建无限弹出的立体书

References